Reconstruct, Practice, Go Real: Guided Self-Improvement for Embodied Agents
重建、练习、真机部署:具身智能体的引导式自我改进
🧭 具身智能体自我改进
UC Berkeley · Amazon FAR · MIT · University of Chicago
RPG 不更新模型权重,在仿真中重构练习任务并自我改进技能与提示,22 项操作成功率从 28.6% 提升至 95.0%
📌 工作参考价值(4 点)
- 借鉴“不更新权重、用可复用符号技能库 + 系统提示修订”的固化系统做法:在电商 Agent 中把高频操作抽象成工具/skill,LLM 只负责调度和组合,降低每次推理成本与非确定性。
- 用“执行反馈 + 离线日志重构练习任务”做自举:从历史成功/失败会话中自动生成回归任务和仿真环境,每次修改 prompt 或 skill 前先在跨任务集上评估,避免局部过拟合。
- 借鉴“候选变更先单测、再合并回归”的变更管理:对 prompt 模板、工具定义、规则库做 A/B 和 cross-task evaluation,只保留被验证有效的修订,形成 Agent 系统的 CI/CD。
- 具身/机器人特有的 privileged simulator state 与 sim-to-real calibration 在电商场景不可直接复用;主要价值在于自我改进流程、技能复用与跨任务验证机制。